from transformers import AutoConfig,AutoModel, AutoTokenizer

model=AutoModel.from_pretrained("hfl/rbt3")

config= AutoConfig.from_pretrained("hfl/rbt3")
print(config)


sen="弱小的我也有大梦想！"
tokenizer=AutoTokenizer.from_pretrained("hfl/rbt3")
inputs=tokenizer(sen,return_tensors="pt")
print(tokenizer(sen))

outputs=model(**inputs,output_attentions=True)
print(outputs)

# 取出最后一层的输出结果
print(outputs.last_hidden_state.size())
# 为啥有12个单词/。弱小的我也有大梦想！ 一共10个单词，然后加上 头cls ,和尾部 sep，一共12个单词，所以有12个单词的输出


from transformers import  AutoModelForSequenceClassification
clz_model= AutoModelForSequenceClassification.from_pretrained("hfl/rbt3")

print(clz_model(**inputs))